Better Nearest Neighbor Graph Indices via (Efficient) LLM-Guided Pruning
通过 LLM 引导剪枝改进最近邻图索引
🧭 LLM 离线精修图索引 · 语义检索 ★ 深度解读
University of Wisconsin–Madison · MIT
提出 LGP,在 DiskANN/HNSW 图索引上离线用 LLM 替换低价值邻居,弥合几何构造与语义评估错配
📌 工作参考价值(4 点)
- 可在现有 HNSW/DiskANN 等图索引上增加离线 LLM 精修环节:对每个节点,用两跳非邻居构造小候选池,先按结构冗余/两跳可达性筛到 M=12~24,再让 LLM 只选 B=2 个语义互补候选替换低价值边;不改查询链路,直接提升低 search width 下的召回与 NDCG。
- 该方法的收益在窄 search width/低距离计算预算下最大,适合召回候选受限、重排器无米下锅的场景;可作为索引侧优化,和 query-time rerank/RGS 等互补。
- 工程上 LLM 调用只发生在离线构图阶段,按节点短list 调用,成本可控;可先对高流量 query 相关节点或重要类目做部分精修(β=0.25/0.5),再逐步放开到全图。
- 语义选择模型越强收益越明显(Qwen3-32B > Qwen3-8B),且对 embedding 模型鲁棒;建议用非推理模式的小 LLM/VLM 控制成本,避免破坏图导航。